EMNLP 2020 | 基于超边融合的文本增强知识图谱开放域问答

©PaperWeekly 原创 · 作者｜舒意恒

学校｜南京大学硕士生

研究方向｜知识图谱

论文标题：

Open Domain Question Answering based on Text Enhanced Knowledge Graph with Hyperedge Infusion

论文链接：

https://www.aclweb.org/anthology/2020.findings-emnlp.133

摘要

知识库的不完整性是限制知识库问答系统表现的关键因素。在知识库外部，文本拥有比知识库更丰富的信息，可用于弥补知识库的不完整性，但同时文本对于计算机更难理解。

该文提出一种利用文本来增强知识库的新的 QA 方法，模型通过文本中蕴含的语义信息来丰富实体表示，并利用图卷积网络来更新实体状态。

另外，为了探索文本的潜在结构信息，作者将文本视为连接实体的超边，来补充知识库中不完整的关系。超图卷积网络被用于超图形式的文本上的推理。在 WebQuestionSP 基准测试上的实验证明了该模型在不同 KB 上的有效性。

介绍

开放域问答是尝试回答给定自然语言的事实型问题的任务。根据利用的信息源，QA 系统可以分为基于知识的（KBQA）和基于文本的（TBQA）。KBQA 通过结构化的知识库获取答案，易于查询和推理，但是受限于知识库中三元组的不完整性。

TBQA 的信息源是普通文本，包含丰富的语义和潜在的结构信息。但是，对于机器来讲是难以理解的。这种互补的性质启发研究者融合这两种信息，增强不完整的知识库，并进一步提升问答系统的表现。

作者认为当前融合知识库和文本的工作，即使取得了一定表现，文本信息仍然没有被充分利用，特别是文本中实体间的关系信息。图 1 展示了当 KB 不完整时回答问题的一个例子。通过利用文本的结构信息，该问题可以被充分回答。

该文主要介绍了一个新颖的 QA 模型，它基于文本增强的知识图谱，通过文本的语义信息来丰富实体表示，并通过文本中的结构信息补充知识库中的关系。具体来说，模型首先结合文本信息，编码知识库中的实体，并应用图卷积网络在 KB 上进行推理。

注意，一个文档通常包含多个实体，作者利用文本中连接实体的超边，将非结构化的文本转换为结构化的超图，并使用超图卷积神经网络来更新实体状态。最终，模型预测答案。

模型

2.1 任务定义

作者遵循 Sun 等人 [1] 的设定，为每个问题构建一个子图。给定一个问题，相关的子知识库通过 Personlized PageRank 算法抽取，相关的文本语料库通过现有的检索器 [2] 从维基百科中获取。任务要求从所有的知识库和文档实体中提取答案。模型的概览如图 2 所示。

即如何查找知识库的子图，以及从维基百科中检索相关文档，并非本文的重点。

2.2 输入编码器

输入编码器包含对查询、文本和 KB 的编码。

查询和文本编码器：双向 LSTM 网络被用于分别编码查询和文档，并获取隐藏状态。然后，通过注意力机制计算查询和文档的表示。

KB 编码器：每个实体通过预训练的知识图谱嵌入 进行初始化。关系通过语义向量和 KG 嵌入 初始化。在具体实现中，作者使用的是 TransE 嵌入 [3]。

2.3 文本增强的知识图谱上的推理

该组件利用文本信息，通过丰富实体表示和添加超边来改进不完整的知识库，并将 GCN 和 HGCN 用于推理。

用于实体的 GCN：为了利用包含在文本中的丰富的语义知识，作者使用一个二元矩阵，表示文档中的实体片段，并将信息从文档传递给实体，以形成感知文本的实体表示 ，然后拼接 获得初始结点表示 。

然后，模型通过聚合实体特征来学习实体表示。

超图文本的 HGCN：该模型将纯文本视为连接文本间实体的超边，以补充 KB 中缺乏的关系。HGCN 被用于对超图形式的文本进行编码，另外，两步注意力用于捕获不同实体和文档的重要性。在这一层中，模型首先将实体特征转移到相连的超边上，形成文本表示：

然后，模型聚合文档的信息，更新相连的实体状态。

2.4 答案预测

在 GCN 层和 HGCN 层后，模型最终预测每个实体成为答案的概率。

实验

数据集

作者在 WebQuestionsSP [4] 上进行实验，它是一个多答案 QA 数据集，包含 4737 个问题。数据集的基本统计信息如表 1 所示。

实验结果

实验采用的指标是 Hits@1 和 F1，分别代表模型预测的最高答案的准确性和预测所有答案的能力。如表 2 所示，该模型在仅 KB 设置中的表现具有一定竞争力，在其他两个设置中达到了最佳效果。这表明将文档视为超边的有效性，其增强策略可以通过引入文本中隐含的语义和结构信息来有效地增强不完整的 KB。

结论

该文提出了一种旨在通过文本信息增强不完整知识库的 QA 方法，充分挖掘了文本中的语义信息和潜在结构信息，特别是将文本作为超边来补充 KB 中不完整的关系。

该模型首先应用 GCN 对实体丰富的 KB 进行编码，然后采用 HGCN 对超图形式的文本进一步推理，并预测最终的答案。在 WebQuestionsSP 基准上的实验结果证明了该模型和每个组件的有效性。

参考文献

[1] Haitian Sun, Bhuwan Dhingra, Manzil Zaheer, Kathryn Mazaitis, Ruslan Salakhutdinov, and William W. Cohen. 2018. Open domain question answering using early fusion of knowledge bases and text.

[2] Danqi Chen, Adam Fisch, Jason Weston, and Antoine Bordes. 2017. Reading wikipedia to answer open domain questions.

[3] Antoine Bordes, Nicolas Usunier, Alberto Garcıa- Duran, Jason Weston, and Oksana Yakhnenko. 2013. Translating embeddings for modeling multi-relational data.

[4] Wen-tau Yih, Matthew Richardson, Christopher Meek, Ming-Wei Chang, and Jina Suh. 2016. The value of semantic parse labeling for knowledge base question answering.

更多阅读

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

📝 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向） 

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接 

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

📬 投稿邮箱：

• 投稿邮箱：[e-mail] 

• 所有文章配图，请单独在附件中发送 

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。